Компания Seeed Studio, по сообщению CNX-Software, представила плату reServer Industrial J501, рассчитанную на подключение вычислительного модуля NVIDIA Jetson AGX Orin. Новинка предназначена для создания периферийных устройств с ИИ-функциями, таких как роботы, всевозможные встраиваемые решения и пр.

Может быть задействовано изделие Jetson AGX Orin с 32 и 64 Гбайт памяти LPDDR5. В первом случае используется GPU с 1792 ядрами Ampere и 56 тензорными ядрами, во втором — с 2048 ядрами Ampere и 64 тензорными ядрами. ИИ-производительность достигает соответственно 200 и 275 TOPS.

Плата reServer Industrial J501 располагает двумя портами SATA-3 и коннектором M.2 Key M (PCIe 4.0; NVMe) для SSD. Есть слот Mini PCIe для модуля LoRaWAN/4G, разъём M.2 Key B (3042/3052) для сотового модема 4G/5G (есть слот Nano SIM) и разъём M.2 Key E для адаптера Wi-Fi/Bluetooth. Реализованы сетевые порты 1GbE и 10GbE на базе коннекторов RJ-45.

Источник изображения: Seeed Studio

В набор доступных интерфейсов входят: HDMI 2.1 Type-A с поддержкой разрешения до 7680 × 4320 пикселей, по одному порту USB 3.1 Type-C (Host Mode) и USB 2.0 Type-C (Device Mode), три порта USB 3.1 Type-A, последовательный порт RS-232/422/485, колодка GPIO/DIO (4 × DI, 4 × DO, 3 × GND_DI, 2 × GND_DO, 1 × GND_ISO, 1 × CAN). Возможно подключение опциональных плат расширения с поддержкой восьми камер GMSL (Gigabit Multimedia Serial Link).

Размеры reServer Industrial J501 составляют 176 × 163 мм, масса — 225 г (без вычислительного модуля). Диапазон рабочих температур простирается от -25 до +60 °C. Питание подаётся от сетевого адаптера на 24 В / 5 A. Новинка предлагается по ориентировочной цене $379.

Turing Pi 2.5 представляет собой четырёхузловую плату формата Mini-ITX со встроенным 1GbE-коммутатором. Плата поддерживает вычислительные модули Turing RK1, Raspberry Pi CM4 и NVIDIA Jetson с коннектором SO-DIMM, которые можно комбинировать. Решение компактно, бесшумно и энергоэффективно. Оно подходит для создания домашних лабораторий, хостинга, работы с облачными стеками (например, Kubernetes или Docker Swarm), а также для запуска ИИ-приложений.

Плата оснащена встроенным BMC на базе чипа Allwinner T113-S3 с 256 Мбайт флеш-памяти. BMC предоставляет возможности удалённого управления, причём узлы остаются активными при перезагрузке BMC. Также имеется встроенный преобразователь UART↔USB-C для отладки, кнопка FEL для быстрого восстановления после неудачных обновлений прошивки, четырёхконтактный разъем с ШИМ для управления корпусным вентилятором и часы реального времени с питанием от батареи CR2032.

Источник изображений: Turing Machines

Плата оснащена слотом microSD, двумя портами SATA-3, а также четырьмя портами M.2 2260/2280 M-Key для подключения NVMe SSD. Доступно четыре порта USB 3.0 (два Type-A + колодка для ещё двух) и один USB 2.0. Встроенный L2-коммутатор с поддержкой VLAN подключён к каждому модулю, а на заднюю панель от него выведены два порта RJ45. Отдельно отмечается, что теперь каждая плата имеет собственный MAC-адрес.

Два слота Mini PCIe, подведённые к узлам № 1 и № 2, позволяют модулям RK1 и Jetson использовать адаптеры Wi-Fi, Bluetooth или 4G/5G (есть слот для SIM-карты), в том числе по USB. Внутренний USB-концентратор позволяет одновременно подключаться к хранилищу всех модулей в режиме MSD (Mass Storage Device), а для заливки образов на модули есть отдельный порт USB-C. Также имеется интерфейс DSI для дисплеев и 40-контактная площадка GPIO, совместимая с Raspberry Pi. Есть и восьмиконтактные разъёмы для I²C-подключения экранов, кнопок, динамиков и т.д.

К первому узлу подведены порт HDMI 4K и один из портов USB Type-A (детали не уточняются), что позволяет использовать его в качестве настольного компьютера, подключив клавиатуру, мышь и монитор. Питается плата от стандартного разъёма ATX 24, а общее энергопотребление системы не превышает 80 Вт. Стоит новинка $279.

Для платы предлагается корпус Turing Pi mini-ITX (240 × 240 × 100 мм) стоимостью $149. Корпус выполнен из алюминия и совместим с платами Turing Pi 2 и 2.5. Он оснащён магнитными крышками для упрощения замены модулей и аксессуаров, поддерживает установку до трёх SFF-накопителей, одного 120-мм вентилятора и блоков питания Flex ATX PSU или Pico PSU с внешним адаптером. На корпусе есть LED-индикатор, кнопка питания, два порта USB Type-A, а также отверстия для внешних антенн.

Компания AAEON представила встраиваемую систему Boxer-8658AI, предназначенную для использования прежде всего в транспортной сфере. Устройство выполнено на аппаратной платформе NVIDIA Jetson Orin NX в соответствии со стандартом MIL-STD-810G, что означает защиту от вибрации, ударов и других воздействий.

В зависимости от модификации система комплектуется модулем Orin NX 8GB или Orin NX 16GB с шестью и восемью ядрами Arm Cortex-A78AE соответственно. Отмечается, что производительность Boxer-8658AI на операциях ИИ достигает 100 TOPS. Объём памяти LPDDR5 — 8 и 16 Гбайт. Есть посадочное место для SFF-накопителя с интерфейсом SATA-3 и коннектор M.2 2280 для SSD (NVMe).

Источник изображений: AAEON

Устройство заключено в корпус с габаритами 210 × 164,2 × 76 мм (без монтажных планок), а масса составляет около 3 кг. Доступны восемь сетевых портов 1GbE RJ-45 с поддержкой PoE/PSE (802.3af/at, до 120 Вт) и ещё два разъёма 1GbE RJ-45 без РоЕ. Предусмотрены коннектор M.2 2230 E Key для комбинированного адаптера Wi-Fi/Bluetooth и разъём M.2 3052 B Key для модема 4G (плюс два слота для SIM-карт).

В число доступных интерфейсов входят HDMI 2.0, USB 3.2 Gen2 Type-A (×4), DB-9 (CANBus FD), DB-15 (RS232/422/485), линейный аудиовыход, порт Micro-USB и трёхконтактный разъём для подачи питания (9–36 В). Диапазон рабочих температур простирается от -15 до +60 °C. Говорится о совместимости с программными платформами на ядре Linux.

Хотя сенсоры многочисленных орбитальных спутников собирают немало информации, у космических аппаратов не хватает вычислительных способностей, чтобы обрабатывать данные на месте. TechCrunch сообщает, что стартап Aethero намерен стать «Intel или NVIDIA в космической индустрии» — компания разрабатывает защищённые от радиации компьютеры для периферийных вычислений на спутниках.

Несколько лет назад основатели Aethero создали стартап Stratodyne, занимавшийся строительством стратостатов для дистанционного зондирования (ДЗЗ). Позже компания закрылась, а создатели вернулись к изучению встраиваемых систем для агрессивных сред.

Как заявляет Aethero, современные компьютеры для космоса используют устаревшие FPGA и не способны выполнять сложные вычисления вроде тренировки на орбите ИИ-моделей или обслуживания систем компьютерного зрения. Aethero, привлёкшая $1,7 млн, намерена только в этому году трижды отправить свои разработки в космос. Одна из миссий будет выполнена SpaceX уже в июне. Целью является демонстрация работоспособности прототипов вроде возможности обновления набортных моделей компьютерного зрения или тренировки таких моделей непосредственно в космосе на собранных здесь же данных.

Источник изображений: Aethero

Космический компьютер первого поколения ECM-NxN использует чип NVIDIA Jetson Orin Nano. В компании утверждают, что сегодня это лучший периферийный ИИ-ускоритель на рынке, а надёжное оборудование собственной разработки позволит сохранить его работоспособность на низкой околоземной орбите в течение 7–10 лет. При этом платформа уместится даже в небольшом аппарате вроде кубсата и обеспечивает производительность в 20 раз выше в сравнении с уже существующими решениями.

Впоследствии Aethero намерена выпустить более крупный модуль ECM-NxA на базе NVIDIA AGX, а потом перейти к разработке собственного RISC-V чипа для модуля ECM-0x1. Утверждается, что тот будет потреблять меньше энергии и будет производительнее, чем продукты техногигантов. Выпуск планируется совместно с Intel приблизительно в 2026 году, хотя обстоятельства могут измениться.

В Aethero отмечает, что подобные решения могут быть интересны операторам ДЗЗ, орбитальным сервисам и будущим частным космическим станциям. Например, только МКС генерирует терабайты данных ежедневно, напоминает компания. Правда, на МКС работает уже второе поколение космического суперкомпьютера HPE Spaceborne-2, разработчики которого отмечали проблемы с SSD и кешами процессоров из-за радиации. На МКС была протестирована и edge-платформа AWS Snowcone. Более того, ИИ-софт AWS для анализа снимков уже успел поработать на низкоорбитальном спутнике.

Lattice Semiconductor представила на конференции для разработчиков Lattice Developers Conference новую эталонную платформу для ускорения разработки периферийных ИИ-решений использованием платформ NVIDIA Jetson Orin и IGX Orin. Сотрудничество Lattice с NVIDIA нацелено на повышение эффективности подключения сенсоров к приложениям для ИИ-обработки, что позволит расширить возможности сообщества разработчиков открытых платформ.

Согласно пресс-релизу, эталонная open source плата, основанная на энергоэффективных FPGA Lattice и аппаратной платформе NVIDIA Orin, предназначена для удовлетворения потребностей разработчиков в подключении к разнообразным датчикам и интерфейсам, при разработке масштабируемых высокопроизводительных периферийных ИИ-приложений с низким уровнем задержкидля нужд здравоохранения, робототехники, встраиваемых систем визуализации и т.д. Эталонная плата пока доступна лишь избранным клиентам, но Lattice планирует расширить доступ к решению и примерам приложений в I половине 2024 года.

Источник изображения: Lattice Semiconductor

«Мы рады сотрудничеству с NVIDIA, которое позволит расширить возможности наших эталонных решений, предлагая больше инноваций нашим клиентам и экосистеме, чтобы помочь упростить и ускорить внедрение периферийных приложений ИИ», — заявил директор по стратегии и маркетингу Lattice Semiconductor. В свою очередь директор по управлению встраиваемыми ИИ-продуктами NVIDIA отметил, что сотрудничество с Lattice позволит ускорить инновации в области обработки показаний датчиков и упростить развёртывание приложений ИИ «от периферии до облака».

Компания NVIDIA сообщила о том, что суперчип NVIDIA GH200 Grace Hopper и ускоритель H100 лидируют во всех тестах производительности ЦОД в бенчмарке MLPerf Inference v3.1 для генеративного ИИ, который включает инференс-задачи в области компьютерного зрения, распознавания речи, обработки медицинских изображений, а также работу с большими языковыми моделями (LLM).

Ранее NVIDIA уже объявляла о рекордах H100 в новом бенчмарке MLPerf. Теперь говорится, что суперчип GH200 Grace Hopper впервые прошёл все тесты MLPerf. Вместе с тем системы, оснащенные восемью ускорителями H100, обеспечили самую высокую пропускную способность в каждом тесте MLPerf Inference. Решения NVIDIA прошли обновленное тестирование в области рекомендательных систем (DLRM-DCNv2), а также выполнили первый эталонный тест GPT-J — LLM с 6 млрд параметров.

Примечательно, что GH200 оказался до 17 % быстрее H100, хотя чип самого ускорителя в обоих продуктах один и тот же. NVIDIA объясняет это несколько факторами. Во-первых, у GH200 больше набортной памяти — 96 Гбайт против 80 Гбайт. Во-вторых, ПСП составляет 4 Тбайт/с, а сам чип является гибридным, так что для передачи данных между LPDDR5x и HBM3 не используется PCIe. В-третьих, GH200 при низкой нагрузке на CPU умеет отдавать часть энергии ускорителю, оставаясь в заданных рамках энергопотребления. Правда, в тестах GH200 работал на полную мощность, т.е. с TDP на уровне 1 кВт (UPD: NVIDIA уточнила, что реально потребление GH200 под полной нагрузкой составляет 750–800 Вт).

Источник изображений: NVIDIA

Отдельно внимание уделено оптимизации ПО — на днях NVIDIA анонсировала открый программный инструмент TensorRT-LLM, предназначенный для ускорения исполнения LLM на продуках NVIDIA. Этот софт даёт возможность вдвое увеличить производительность ускорителя H100 в тесте GPT-J 6B (входит в состав MLPerf Inference v3.1). NVIDIA отмечает, что улучшение ПО позволяет клиентам с течением времени повышать производительность ИИ-систем без дополнительных затрат.

Также отмечается, что модули NVIDIA Jetson Orin благодаря новому ПО показали прирост производительности до 84 % на задачах обнаружения объектов по сравнению с предыдущим раундом тестирования MLPerf. Ускорение произошло благодаря задействованию Programmable Vision Accelerator (PVA), отдельного движка для обработки изображений и алгоритмов компьютерного зрения работающего независимо от CPU и GPU.

Сообщается также, что ускоритель NVIDIA L4 в последних тестах MLPerf выполнил весь спектр рабочих нагрузок, показав отличную производительность. Так, в составе адаптера с энергопотреблением 72 Вт этот ускоритель демонстрирует в шесть раз более высокое быстродействие, нежели CPU, у которых показатель TDP почти в пять раз больше. Кроме того, NVIDIA применила новую технологию сжатия модели, что позволило продемонстрировать повышение производительности в 4,4 раза при использовании BERT LLM на ускорителе L4. Ожидается, что этот метод найдёт применение во всех рабочих нагрузках ИИ.

В число партнёров при проведении тестирования MLPerf вошли поставщики облачных услуг Microsoft Azure и Oracle Cloud Infrastructure, а также ASUS, Connect Tech, Dell Technologies, Fujitsu, Gigabyte, Hewlett Packard Enterprise, Lenovo, QCT и Supermicro. В целом, MLPerf поддерживается более чем 70 компаниями и организациями, включая Alibaba, Arm, Cisco, Google, Гарвардский университет, Intel, Meta✴, Microsoft и Университет Торонто.

Компания AAEON, принадлежащая ASUS, представила индустриальный мини-компьютер Boxer-8621AI для задач ИИ и машинного обучения. Новинка, выполненная на аппаратной платформе NVIDIA Jetson Orin Nano, уже доступна для предварительного заказа.

Устройство заключено в корпус с размерами 105 × 90 × 52 мм. Задействованный модуль Jetson Orin Nano содержит шесть вычислительных ядер Arm Cortex-A78AE ARMv8.2, а также GPU Ampere с 512 ядрами CUDA и 16 тензорными ядрами. Объём оперативной памяти LPDDR5 составляет 4 Гбайт.

Источник изображения: AAEON

Мини-компьютер оснащён пассивным охлаждением, а диапазон рабочих температур простирается от -15 до +60 °C. Есть разъём M.2 3042/3052 B-Key для модема 4G/5G (имеется слот для SIM-карты), коннектор M.2 2242 B-Key и M-Key для SSD, а также разъём M.2 2230 E-Key для комбинированного адаптера Wi-Fi/Bluetooth. Предусмотрен контроллер 1GbE с гнездом RJ-45 для сетевого кабеля.

Модель Boxer-8621AI располагает двумя портами USB 3.2 Gen2 Type-A и двумя разъёмами USB 2.0 Type-A, последовательными портами RS-232/422/485, коннектором Micro-USB, интерфейсом HDMI 1.4 и гнёздами для подключения антенны Wi-Fi. Питание подаётся через DC-разъём (12–24 В). Говорится о совместимости с Linux. При необходимости компьютер может монтироваться на стену.

ASUS IoT, подразделение ASUS по выпуску умных устройств для Интернета вещей, объявило о выходе компактного безвентиляторного компьютера PE1100N, предназначенного для решения ИИ-задач на периферии. В основу новинки положена аппаратная платформа NVIDIA.

Представлены версии с модулем Jetson Orin Nano и Jetson Orin NX. Задействован GPU с 512- или с 1024-ядерным ускорителем NVIDIA Ampere. Объём оперативной памяти LPDDR5 может составлять 4, 8 или 16 Гбайт.

Устройство заключено в корпус с габаритами 152 × 114 × 72 мм. Ребристая внешняя поверхность выполняет функции радиатора для отвода тепла. Диапазон рабочих температур простирается от -20 до +60 °C.

Источник изображения: ASUS IoT

Компьютер располагает коннектором M.2 2242/2260/2280 для SSD с интерфейсом PCIe, слотом M.2 E key 2230 для адаптера Wi-Fi/Bluetooth (PCIe, USB 2.0, I2C и PCM) и коннектором M.2 B key 3042/3052 для модуля 4G/5G (PCIe, USB 2.0/3.0). Есть два разъёма для карт nano-SIM. В оснащение включён двухпортовый сетевой контроллер 1GbE, а опционально можно добавить приёмник GPS.

Новинка снабжена тремя портами USB 3.2 Gen1 Type-A, интерфейсом HDMI 1.4a или HDMI 2.0b, двумя гнёздами RJ-45 для сетевых кабелей, двумя последовательными портами, гнёздами для подключения антенн, портом Micro-USB и пр. Вес составляет 1,4 кг. Допускается монтаж на стену. В качестве программной платформы применяется Ubuntu.

Модули Jetson AGX Orin для создания компактных ИИ-платформ были анонсированы ещё осенью прошлого года, и их характеристики были подробно нами разобраны в соответствующей заметке. Теперь компания NVIDIA завершила их адаптацию к промышленным условиям, представив обновлённые модели с приставкой Industrial в названии, которые могут стать основой, к примеру, промышленных роботов и тому подобных устройств.

Новинки всё так же включают модуль Jetson AGX Orin 64GB, оснащённый 12-ядерным SoC на базе архитектуры Arm Cortex-A78AE (v8.2) и 2048 ядер CUDA с архитектурой Ampere. Тактовые частоты составляют 2 и 1,2 ГГц соответственно: частота CPU была специально немного снижена для обеспечения надёжной работы в тяжёлых температурных режимах.

Объём оперативной памяти вырос с изначальных 32 до 64 Гбайт (сейчас доступна также 64GB-версия Orin), но что более важно — в новых моделях используется ECC-память, что важно для промышленных систем, в том числе, работающих в режиме реального времени, где цена ошибки может быть очень высокой.

Источник здесь и далее: NVIDIA

Предприняты и некоторые другие меры: в частности, процессор имеет усиленное крепление к плате, а пространство под важными элементами заливается специальным компаундом. Всё это позволяет AGX Orin Industrial работать без перебоев при температурах окружающей среды от -40 до +85 °C, влажности до 85%, а также ударных нагрузках 50G в течение 11 мс. Кроме того, жизненный цикл Industrial составляет 10 лет, а не 7 как у обычного AGX Orin.

Сравнительные характеристики модулей Orin и Orin Industrial

В ИИ-задачах новинка развивает до 248 Топс (INT8) при потреблении 75 Вт, что больше, нежели у обычной версии. В продажу модули NVIDIA Jetson AGX Orin Industrial поступят в июле и будут дороже своих «неиндустриальных» собратьев, но сохранят с ними полную логическую, электрическую и программную совместимость.

Компания Axiomtek анонсировала систему AIE110-XNX для разработчиков, проектирующих различные ИИ-устройства для периферийных вычислений. В основу изделия положена аппаратная платформа NVIDIA, а в качестве ОС может применяться Ubuntu 18.04 и более поздние версии.

Задействован модуль Jetson Xavier NX, который содержит шестиядерный процессор NVIDIA Carmel, а также GPU на архитектуре Volta с 384 ядрами CUDA и 48 тензорными ядрами. Имеются два акселератора NVDLA. Заявленная производительность на ИИ-операциях достигает 21 TOPS. Новинка несёт на борту 8 Гбайт оперативной памяти LPDDR4x и флеш-модуль eMMC вместимостью 16 Гбайт.

Источник изображения: Axiomtek

Дополнительно можно установить SSD формата M.2 2280 с интерфейсом PCIe x4 (NVMe) и карту microSD. Есть разъём mPCIe и слот для SIM-карты: это позволяет добавлять опциональные модули Wi-Fi/Bluetooth/GPS и 4G. Присутствуют два сетевых порта 1GbE, один из которых имеет поддержку PoE (Intel i210-IT; до 15 Вт).

В набор разъёмов входят два гнезда RJ-45 для сетевых кабелей, по одному порту USB 3.2 Gen2, USB 2.0 и Micro-USB, интерфейс HDMI 2.0 с поддержкой видео 4Kp60 и гнездо для подачи питания (12 В). Габариты составляют 165 × 117 × 37,7 мм, вес — 300 г. Применена система активного охлаждения с радиатором и вентилятором. Диапазон рабочих температур — от -10 до +60 °C.